#оптимизация LLM

'BitNet Distillation преобразует FP16 LLM в 1.58‑битовую модель с близкой к FP16 точностью, достигая до 10× экономии памяти и около 2.65× ускорения на CPU.'

'BentoML представила llm-optimizer для автоматизированного бенчмаркинга и настройки саморазмещаемых LLM и запустила LLM Performance Explorer с предварительно вычисленными результатами.'

Исследователи DeepSeek выпустили nano-vLLM — компактную и эффективную Python-реализацию движка vLLM, сочетающую простоту и производительность для вывода LLM.